具有学习和推理能力的空间无人系统智能架构

黄煌, 李谋, 刘磊, 汤亮, 刘昊, 谢心如, 刘乃龙, 魏春岭, 邢琰, 姜甜甜, 胡海东, 常亚菲, 胡勇, 杨孟飞. 具有学习和推理能力的空间无人系统智能架构. 中国科学: 信息科学, DOI: 10.1360/SSI-2022-0036

研究意义

随着人工智能技术的迅速发展, 智能无人系统在无人汽车、无人飞机等领域已经有了广泛应用, 例如, 特斯拉实现了较高自主等级自动驾驶的道路测试, Alpha空战系统中AI驱动的无人机战胜了有经验的飞行员, 甚至自主习得“大方位角射击”这样一种全新的攻击样式. 

以卫星、飞船、深空探测器等为代表的航天器作为一类典型的无人系统, 工作于空间环境或地外星表环境, 具有严苛环境未知、先验知识欠缺、通信条件恶劣等特点, 是智能技术应用的重要领域. 

(图片源自网络)

杨嘉墀院士在1995年发表的《中国空间计划中智能自主控制技术的发展》一文中, 论述了智能自主之于航天器的重要意义. 

为应对地外天体探测、在轨维修维护、非合作目标处理等日益复杂的空间任务需求, 提升航天器在未知空间环境和复杂空间任务下的适应能力, 迫切需要构建一套会学习、能推理的无人系统智能架构以及相应的智能实现框架和生成机制.

2016年我国发布第四部航天白皮书, 明确提出建设航天强国的战略目标; 2017年我国发布《新一代人工智能发展规划》, 计划到2030年人工智能理论、技术与应用总体达到世界领先水平. 

作为战略前沿技术, 人工智能技术是推动航天事业进一步发展的重要手段, 特别是随着硬件水平的提高和近年来人工智能理论、方法与技术的飞速发展, 为人工智能技术在航天领域的应用提供了良好的软硬件基础. 

随着智能感知、自主决策、重构升级等能力成为未来航天器的基本能力, 发展新一代智能无人系统, 深度融合人工智能技术和航天技术, 将加快航天强国建设并促进智能无人系统的发展.

本文工作

本文围绕复杂空间任务对航天器智能自主能力的迫切需求, 从空间智能无人系统的基本组成、逻辑关系、信息流和学习机制等方面出发, 提出具有学习和推理能力的空间无人系统智能架构, 并对智能架构中的关键技术提出可行的解决方案, 以期为空间无人系统智能自主能力的提升提供一种实现框架和生成机制.

具有学习和推理能力的空间无人系统智能架构如图1所示, 智能架构由智能体、环境和任务等部分组成, 智能体是智能架构的核心, 智能体主要包含动作库、知识库、感知机、学习推理机和评估模块等部分, 动作库和知识库是实现学习和推理能力的基础. 

智能体加载有特定的知识并能够执行一定的动作. 智能体利用感知机从敏感器数据中提取环境特征, 学习推理机根据环境特征在知识库中搜索相关知识并生成要执行的动作, 评估模块评估整个任务执行过程并给出任务执行的优劣评价指标, 学习推理机再根据评价指标更新、扩展动作库和知识库并自更新, 最终使评价指标向期望的方向变化.

实验结果

使用地外星表探测任务中无人车巡视采样任务说明具有学习和推理能力的无人系统智能架构的实现过程. 对应图2所示的智能体内信息流, 感知机根据无人车的探测结果提取岩石重量和坐标; 知识搜索模块组织元知识, 生成兴趣目标、任务完成度; 动作生成模块生成无人车要执行的元动作; 评估模块评价任务完成情况, 生成对应的奖励. 由于任务场景相对简单, 感知机、知识搜索模块和评估模块使用固定策略, 动作生成模块使用神经网络, 利用深度强化学习方法 (D3QN) 训练智能体.

智能体训练的初始时刻, 由于没有对动作生成模块进行预训练, 智能体只能随机调用元动作执行任务, 经过一段时间训练后, 智能体首先学会前进动作以完成巡游任务, 接着智能体学会寻找岩石并抓取动作以完成采样任务. 经过约1万次的训练后, 任务成功率稳定在90%左右, 此时智能体能够较为高效率的完成该巡视采样任务.

训练后智能体的任务执行过程如图8所示, 图中左上角标注了任务指标和实际完成情况, 其任务执行过程均包含了“发现目标、转向目标、抓取目标”的过程. 可以看出, 通过有效的环境探索、推理与学习, 无人车自主产生出B类子动作和新的子知识, 并自动生成了任务执行策略, 验证了所提出的智能架构可以实现知识的生成和任务的自主执行.

本文内容可能会与最终出版文章有微小差异，点击下方阅读原文按钮，快速获取文章最新版本。

《中国科学：信息科学》| SCIENCE CHINA Information Sciences

及时报道计算机科学与技术、控制科学与控制工程、通信与信息系统、微电子与固体电子学等领域基础与应用研究方面的原创性成果.

英文版投稿：https://mc03.manuscriptcentral.com/scis

中文版投稿：https://www.scicloudcenter.com/SSI/login/index

快速访问：http://scis.scichina.com/